3장. 확률·통계

AI 엔지니어링 선수지식 — 3장. 대상: 고등학생·학부 1년차.

3. 확률·통계

LLM 은 다음 단어를 확률로 찍는 기계입니다. "나는 학교에 ___" 다음에 "간다"(80%)·"갔다"(15%)·"피자"(0.01%) 처럼 확률 분포를 내놓고 하나를 고릅니다. 그래서 확률은 LLM 의 모국어입니다.

3.1 확률분포

어떤 일이 각각 얼마나 자주 일어나는가의 지도이며, 모든 확률의 합은 1입니다.

비유 — 주사위·일기예보. 주사위는 1~6 이 각 1/6(균등 분포)이고, 일기예보 "비 70%, 맑음 30%" 도 분포입니다.

직접 해보기 — 동전 2번 던질 때 앞면 수는 앞0:1/4, 앞1:2/4, 앞2:1/4 이고, 합은 4/4 = 1 입니다(분포는 항상 합이 1).

probs = np.array([0.25, 0.5, 0.25])
print(probs.sum())   # 1.0

실무. LLM 의 출력은 전체 어휘(수만 단어)에 대한 확률분포입니다. "temperature" 설정이 이 분포를 뾰족(확실)하게 또는 완만(다양)하게 조절합니다.

LLM 연결. 모든 토큰 생성이 확률분포에서 뽑기이며, EP2 의 "temperature·top-p" 가 이 분포를 조작합니다.

더 깊이 — Khan Academy: Probability

3.2 조건부확률·베이즈

"B가 일어났다는 걸 알 때 A의 확률" 이 조건부확률이고, 새 증거로 믿음을 업데이트하는 법이 베이즈입니다.

비유 — 의사의 진단. 기침(증거)을 보고 감기 확률을 올려 잡는 것이며, 새 증상이 나오면 또 업데이트합니다.

직접 해보기 — 스팸 필터는 "무료" 라는 단어가 있으면 스팸 확률을 올립니다. 즉 P(스팸 | "무료") > P(스팸) 이고, 단어가 쌓일수록 확률이 갱신됩니다.

# P(스팸|단어) = P(단어|스팸)*P(스팸) / P(단어)
print(round(0.8 * 0.4 / 0.5, 3))   # 0.64

실무. 스팸 필터·의료 진단·A/B 테스트가 전부 베이즈로, "사전 믿음 → 데이터 → 사후 믿음" 사이클입니다.

LLM 연결. 언어모델은 "앞 단어들이 주어졌을 때 다음 단어 확률", 즉 조건부확률 P(다음 | 이전들)을 학습한 것입니다. 이것이 GPT 의 정의 그 자체입니다.

더 깊이 — Khan Academy: Conditional probability

3.3 기댓값·분산

평균적으로 기대되는 값이 기댓값, 값들이 얼마나 흩어졌는가가 분산입니다.

비유 — 시험 점수. 반 평균 70점이 기댓값입니다. 다들 70 근처면 분산이 작고, 0~100 으로 널뛰면 분산이 큽니다.

직접 해보기 — 주사위 기댓값은 (1+2+3+4+5+6)/6 = 21/6 = 3.5 입니다.

vals = np.array([1,2,3,4,5,6])
print(vals.mean(), round(vals.var(), 2))   # 3.5 2.92

실무. 모델 성능 평가, 학습 안정성(분산 큰 그래디언트 = 불안정) 진단에 쓰입니다.

LLM 연결. 배치 학습과 정규화(LayerNorm)가 평균·분산을 다룹니다(섹션 5).

더 깊이 — Khan Academy: Statistics

3.4 최대우도추정·엔트로피·Cross-Entropy

데이터를 가장 그럴듯하게 설명하는 값 찾기가 MLE, 불확실성의 크기가 엔트로피, 예측과 정답의 차이 벌점이 cross-entropy 입니다.

비유 — 엔트로피는 헷갈림. 동전(앞뒤 5:5)은 최대로 헷갈리고(엔트로피 큼), "항상 앞면" 동전은 전혀 안 헷갈립니다(엔트로피 0).

비유 — Cross-Entropy 는 오답 벌점. 정답이 "고양이" 인데 모델이 "고양이 10%, 개 90%" 라 하면 큰 벌점, "고양이 95%" 면 작은 벌점입니다.

직접 해보기 — 벌점은 −log(예측확률)입니다. 정답을 0.1 로 예측하면 −log(0.1) ≈ 2.30(큰 벌점), 0.9 로 예측하면 −log(0.9) ≈ 0.10(작은 벌점)입니다.

for p in [0.1, 0.9]:
    print(round(-np.log(p), 2))   # 2.3, 0.1

실무. 분류 모델 학습의 기본 손실함수가 cross-entropy 이고, KL divergence(두 분포 차이)는 모델 정렬·증류에 씁니다.

LLM 연결. LLM 학습 손실이 곧 cross-entropy(예측 분포 vs 실제 다음 단어)이며, EP7 의 학습·튜닝이 이 손실을 최소화합니다.

더 깊이 — Stanford CS229 강의노트(PDF)

3.5 정리

한 문장으로, LLM 은 조건부확률 분포를 내놓고(다음 단어) cross-entropy 로 틀린 만큼 벌점 받아 학습하는 확률 기계입니다.

참고 자료 — Khan Academy Statistics · Stanford CS229 Notes